Scrapy-kehys: Opas laajamittaiseen verkkosivujen kaavintaan

Nykypäivän datavetoisessa maailmassa kyky kerätä tietoa verkosta on korvaamaton. Olipa kyseessä markkinatutkimus, kilpailijoiden toiminnan seuranta tai dataa runsaasti hyödyntävän sovelluksen rakentaminen, verkkosivujen kaavinta tarjoaa tehokkaan ratkaisun. Scrapy, vankka ja joustava Python-kehys, erottuu johtavana työkaluna laajamittaisten kaavintaratkaisujen rakentamisessa. Tämä kattava opas tutkii Scrapyn ominaisuuksia, etuja ja parhaita käytäntöjä, jotta voit hyödyntää sen potentiaalia tiedonkeruutarpeissasi.

Mikä on Scrapy?

Scrapy on avoimen lähdekoodin verkkosivujen indeksointikehys, joka on kirjoitettu Pythonilla. Se on suunniteltu käsittelemään verkkosivujen kaavinnan monimutkaisuuksia tarjoten jäsennellyn ja tehokkaan tavan kerätä tietoa verkkosivustoilta. Toisin kuin yksinkertaiset skriptit, jotka voivat helposti rikkoutua verkkosivustojen muutosten vuoksi, Scrapy tarjoaa vankan arkkitehtuurin, joka pystyy sopeutumaan kehittyviin verkkorakenteisiin ja käsittelemään yleisiä kaavinnan haasteita.

Miksi valita Scrapy laajamittaiseen kaavintaan?

Scrapy tarjoaa useita etuja, jotka tekevät siitä ihanteellisen laajamittaisiin verkkosivujen kaavintaprojekteihin:

• Asynkroninen arkkitehtuuri: Scrapyn asynkroninen arkkitehtuuri mahdollistaa useiden pyyntöjen käsittelyn samanaikaisesti, mikä parantaa merkittävästi kaavinnan nopeutta ja tehokkuutta. Tämä on ratkaisevan tärkeää, kun käsitellään suurta määrää kaavittavia sivuja.
• Middleware-tuki: Scrapy tarjoaa joustavan middleware-järjestelmän, joka mahdollistaa kaavintaprosessin mukauttamisen. Voit lisätä middleware-komponentteja käsittelemään tehtäviä, kuten user-agentin vaihtamista, välityspalvelimien hallintaa, pyyntöjen uudelleenyrityksiä ja HTTP-välimuistia.
• Datankäsittelyputket: Scrapyn datankäsittelyputki (data pipeline) mahdollistaa kaavitun datan käsittelyn jäsennellyllä tavalla. Voit määrittää putkia puhdistamaan, validoimaan, muuntamaan ja tallentamaan dataa eri muotoihin ja tietokantoihin.
• Sisäänrakennettu tuki XPath- ja CSS-valitsimille: Scrapy tarjoaa sisäänrakennetun tuen XPath- ja CSS-valitsimille, mikä helpottaa datan keräämistä HTML- ja XML-dokumenteista.
• Laajennettavuus: Scrapy on erittäin laajennettavissa, mikä mahdollistaa sen toiminnallisuuden mukauttamisen ja laajentamisen omilla komponenteilla ja laajennuksilla.
• Yhteisön tuki: Scrapyllä on suuri ja aktiivinen yhteisö, joka tarjoaa runsaasti resursseja, oppaita ja tukea kehittäjille.

Scrapyn arkkitehtuuri: Ydinkomponenttien ymmärtäminen

Jotta voit käyttää Scrapyä tehokkaasti, on olennaista ymmärtää sen ydinkomponentit ja niiden vuorovaikutus:

• Spiderit: Spiderit ovat Scrapy-projektin ydin. Ne määrittelevät, miten verkkosivustoa indeksoidaan, mitä URL-osoitteita seurataan ja miten tietoa kerätään sivuilta. Spider on pohjimmiltaan Python-luokka, joka määrittelee kaavintalogiikan.
• Scrapy Engine (Moottori): Scrapy Engine on kehyksen ydin. Se hallitsee datan virtausta kaikkien muiden komponenttien välillä.
• Scheduler (Ajastin): Ajastin vastaanottaa pyyntöjä moottorilta ja päättää, mitkä pyynnöt käsitellään seuraavaksi prioriteetin ja muiden tekijöiden perusteella.
• Downloader (Lataaja): Lataaja vastaa verkkosivujen noutamisesta internetistä. Se käyttää asynkronisia pyyntöjä ladatakseen tehokkaasti useita sivuja samanaikaisesti.
• Spiderit: (Kyllä, mainittu uudelleen selvyyden vuoksi) Spiderit käsittelevät ladatut sivut ja keräävät dataa. Ne tuottavat joko kerättyjä data-itemeitä tai uusia indeksoitavia pyyntöjä.
• Item Pipeline (Datankäsittelyputki): Datankäsittelyputki käsittelee kerätyt data-itemit. Sitä voidaan käyttää datan puhdistamiseen, validoimiseen, muuntamiseen ja tallentamiseen.
• Downloader Middlewaret: Downloader Middlewaret ovat komponentteja, jotka sijaitsevat moottorin ja lataajan välissä. Niitä voidaan käyttää pyyntöjen muokkaamiseen ennen niiden lähettämistä palvelimelle ja vastausten käsittelyyn ennen niiden lähettämistä spidereille.
• Spider Middlewaret: Spider Middlewaret ovat komponentteja, jotka sijaitsevat moottorin ja spidereiden välissä. Niitä voidaan käyttää spidereiden luomien pyyntöjen muokkaamiseen ja spidereiden vastaanottamien vastausten käsittelyyn.

Scrapy-ympäristön pystyttäminen

Ennen kuin voit aloittaa Scrapyn käytön, sinun on pystytettävä kehitysympäristösi. Toimi näin:

1. Asenna Python:

Scrapy vaatii Python 3.7:n tai uudemman. Voit ladata Pythonin viralliselta Python-verkkosivustolta: https://www.python.org/downloads/

2. Asenna Scrapy:

Voit asentaa Scrapyn pip-paketinhallintaohjelmalla:

            pip install scrapy
            

              
                Copy
              
            
          

3. Luo Scrapy-projekti:

Luo uusi Scrapy-projekti komennolla scrapy startproject:

            scrapy startproject myproject
            

              
                Copy
              
            
          

Tämä luo uuden myproject-nimisen hakemiston, jolla on seuraava rakenne:

            myproject/
    scrapy.cfg          # Scrapyn konfiguraatiotiedosto
    myproject/
        __init__.py
        items.py        # Määrittelee kaavittujen itemien tietorakenteen
        middlewares.py  # Käsittelee pyyntöjen ja vastausten käsittelyn
        pipelines.py    # Käsittelee kaavitut itemit
        settings.py     # Konfiguroi Scrapyn asetukset
        spiders/
            __init__.py
            

              
                Copy
              
            
          

Ensimmäisen Scrapy-spiderin rakentaminen

Luodaan yksinkertainen Scrapy-spider keräämään dataa verkkosivustolta. Tässä esimerkissä kaavimme uutissivuston artikkelien otsikot ja URL-osoitteet.

1. Määrittele tietorakenne (Items):

Määrittele kaavittujen itemien tietorakenne tiedostossa items.py:

            import scrapy

class ArticleItem(scrapy.Item):
    title = scrapy.Field()
    url = scrapy.Field()
            

              
                Copy
              
            
          

2. Luo spiderisi:

Luo uusi Python-tiedosto (esim. news_spider.py) spiders-hakemistoon ja määrittele spider-luokkasi:

            import scrapy
from myproject.items import ArticleItem

class NewsSpider(scrapy.Spider):
    name = "news"
    allowed_domains = ["example.com"]  # Korvaa kohdedomainillasi
    start_urls = ["https://www.example.com"]  # Korvaa kohde-URL:lläsi

    def parse(self, response):
        for article in response.css("article"):  # Säädä CSS-valitsinta tarpeen mukaan
            item = ArticleItem()
            item['title'] = article.css("h2 a::text").get()
            item['url'] = article.css("h2 a::attr(href)").get()
            yield item
            

              
                Copy
              
            
          

Selitys:

• name: Spiderin nimi, jota käytät sen ajamiseen.
• allowed_domains: Lista domaineista, joita spider saa indeksoida.
• start_urls: Lista URL-osoitteista, joista spider aloittaa indeksoinnin.
• parse(self, response): Tämä metodi kutsutaan jokaiselle ladatulle sivulle. Se vastaanottaa response-olion, joka sisältää sivun HTML-sisällön. Käytät CSS-valitsimia (tai XPathia) halutun datan keräämiseen ja ArticleItem-instanssien luomiseen.

3. Aja spiderisi:

Aja spiderisi seuraavalla komennolla projektihakemistossasi:

            scrapy crawl news -o articles.json
            

              
                Copy
              
            
          

Tämä ajaa news-spiderin ja tallentaa kerätyn datan JSON-tiedostoon nimeltä articles.json.

Yleisten verkkosivujen kaavinnan haasteiden käsittely

Verkkosivujen kaavinta ei ole aina suoraviivaista. Sivustot käyttävät usein tekniikoita kaavinnan estämiseksi, kuten:

• Robots.txt: Tiedosto, joka määrittelee, mitä osia verkkosivustosta ei tulisi indeksoida. Kunnioita aina robots.txt-tiedostoa!
• User-Agentin tunnistus: Sivustot voivat tunnistaa ja estää pyyntöjä tunnetuilta kaavintatyökaluilta User-Agent-otsakkeen perusteella.
• IP-esto: Sivustot voivat estää IP-osoitteita, jotka tekevät liian monta pyyntöä lyhyessä ajassa.
• CAPTCHA:t: Sivustot voivat käyttää CAPTCHA-testejä estääkseen automatisoidun pääsyn.
• Dynaaminen sisältö: Sivustoja, jotka lataavat sisältöä vahvasti JavaScriptin avulla, voi olla vaikea kaapia perinteisillä menetelmillä.

Tässä on joitain strategioita näiden haasteiden ratkaisemiseksi:

1. Kunnioita Robots.txt-tiedostoa:

Tarkista aina kaavittavan verkkosivuston robots.txt-tiedosto ja noudata sen sääntöjä. Löydät sen osoitteesta /robots.txt (esim. https://www.example.com/robots.txt).

2. Käytä User-Agentin vaihtoa:

Vaihda User-Agent-otsakettasi jäljitelläksesi eri verkkoselaimia ja välttääksesi tunnistamista kaavintatyökaluna. Voit käyttää Scrapyn UserAgentMiddleware-komponenttia User-Agentin vaihdon helppoon hallintaan. Listan kelvollisista User-Agenteista löytyy verkosta. Esimerkki:

            # settings.py
USER_AGENT_LIST = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/14.1.1 Safari/605.1.15',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:89.0) Gecko/20100101 Firefox/89.0',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:89.0) Gecko/20100101 Firefox/89.0',
    'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
]

# middlewares.py
import random

class RotateUserAgentMiddleware(object):
    def process_request(self, request, spider):
        ua = random.choice(spider.settings.get('USER_AGENT_LIST'))
        if ua:
            request.headers['User-Agent'] = ua

# Ota middleware käyttöön settings.py-tiedostossa
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.RotateUserAgentMiddleware': 400,
}
            

              
                Copy
              
            
          

3. Käytä välityspalvelimien vaihtoa:

Käytä välityspalvelinta (proxy) peittääksesi IP-osoitteesi ja välttääksesi IP-estoja. Voit käyttää listaa ilmaisista välityspalvelimista (vaikka ne ovat usein epäluotettavia) tai tilata maksullisen välityspalvelun. Scrapyn HttpProxyMiddleware-komponenttia voidaan käyttää välityspalvelimien vaihdon hallintaan. Muista tutkia ja käyttää hyvämaineisia välityspalveluntarjoajia. Esimerkki:

            # settings.py
PROXIES = [
    'http://user:password@proxy1.example.com:8080',
    'http://user:password@proxy2.example.com:8080',
    'http://user:password@proxy3.example.com:8080',
]

# middlewares.py
import random

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        proxy = random.choice(spider.settings.get('PROXIES'))
        if proxy:
            request.meta['proxy'] = proxy

# Ota middleware käyttöön settings.py-tiedostossa
DOWNLOADER_MIDDLEWARES = {
    'myproject.middlewares.ProxyMiddleware': 750,
}
            

              
                Copy
              
            
          

4. Ota käyttöön viive:

Vältä liian nopeiden pyyntöjen tekemistä estääksesi palvelimen ylikuormittumisen ja rajoitusten laukeamisen. Käytä Scrapyn DOWNLOAD_DELAY-asetusta lisätäksesi viiveen pyyntöjen väliin. Harkitse tämän viiveen säätämistä verkkosivuston reagointikyvyn mukaan. Esimerkki:

            # settings.py
DOWNLOAD_DELAY = 0.25  # 250 millisekuntia
            

              
                Copy
              
            
          

5. Käsittele CAPTCHA:t:

CAPTCHA:t on suunniteltu estämään automatisoitu pääsy. CAPTCHA-testien ratkaiseminen ohjelmallisesti voi olla haastavaa. Harkitse CAPTCHA-ratkaisupalvelun (maksullinen) käyttöä tai ihmisen apuun perustuvan ratkaisun toteuttamista, jossa ihminen ratkaisee CAPTCHA-testin sen ilmestyessä.

6. Käytä Splashia dynaamiseen sisältöön:

Sivustoille, jotka käyttävät paljon JavaScriptiä, harkitse Splashin käyttöä, joka on JavaScript-renderöintipalvelu. Splashin avulla voit renderöidä sivun headless-selaimessa ja sitten kaapia täysin renderöidyn HTML:n. Scrapyllä on sisäänrakennettu tuki Splashille.

Datan tallennus ja käsittely Item Pipeline -putkien avulla

Scrapyn Item Pipeline -putket tarjoavat tehokkaan mekanismin kaavitun datan käsittelyyn. Voit käyttää putkia:

• Puhdistamaan ja validoimaan dataa
• Muuntamaan dataa
• Tallentamaan dataa eri muotoihin ja tietokantoihin

Määrittele Item Pipeline luomalla luokka pipelines.py-tiedostoon. Jokaisen putkikomponentin tulee toteuttaa process_item(self, item, spider)-metodi, joka vastaanottaa kaavitun itemin ja sen luoneen spiderin.

Tässä on esimerkki Item Pipeline -putkesta, joka tallentaa dataa SQLite-tietokantaan:

            import sqlite3

class SQLitePipeline(object):
    def __init__(self):
        self.conn = sqlite3.connect('articles.db')
        self.cursor = self.conn.cursor()
        self.cursor.execute('''
            CREATE TABLE IF NOT EXISTS articles (
                title TEXT,
                url TEXT
            )
        ''')

    def process_item(self, item, spider):
        self.cursor.execute('''
            INSERT INTO articles (title, url) VALUES (?, ?)
        ''', (item['title'], item['url']))
        self.conn.commit()
        return item

    def close_spider(self, spider):
        self.conn.close()
            

              
                Copy
              
            
          

Ottaaksesi Item Pipeline -putken käyttöön, sinun on lisättävä se ITEM_PIPELINES-asetukseen settings.py-tiedostossa:

            # settings.py
ITEM_PIPELINES = {
    'myproject.pipelines.SQLitePipeline': 300,
}
            

              
                Copy
              
            
          

Numero 300 edustaa putken prioriteettia. Pienemmillä numeroilla varustetut putket suoritetaan ensin.

Scrapy-projektien skaalaaminen

Erittäin suurissa kaavintaprojekteissa saatat joutua jakamaan Scrapy-spiderisi useille koneille. Tässä on joitain strategioita Scrapyn skaalaamiseen:

• Scrapy Cluster: Scrapy Cluster on kehys Scrapy-spidereiden ajamiseen koneklusterissa. Se käyttää Redisiä viestinvälitykseen ja Celeryä tehtävien ajoitukseen.
• Scrapyd: Scrapyd on palvelu Scrapy-spidereiden käyttöönottoon ja ajamiseen. Sen avulla voit helposti ottaa spiderit käyttöön palvelimella ja hallita niiden suoritusta.
• Docker: Käytä Dockeria Scrapy-spidereiden kontittamiseen, mikä helpottaa niiden käyttöönottoa ja ajamista millä tahansa konella, joka tukee Dockeria.
• Pilvipohjaiset kaavintapalvelut: Harkitse pilvipohjaisen verkkosivujen kaavintapalvelun käyttöä, joka hoitaa infrastruktuurin ja skaalautumisen puolestasi. Esimerkkejä ovat: Apify, Zyte (entinen Scrapinghub) ja Bright Data. Nämä tarjoavat usein hallittuja välityspalvelimia ja CAPTCHA-ratkaisupalveluita.

Eettiset näkökohdat ja parhaat käytännöt

Verkkosivujen kaavinta tulisi aina suorittaa eettisesti ja vastuullisesti. Tässä on joitain parhaita käytäntöjä, joita noudattaa:

• Kunnioita Robots.txt-tiedostoa: Tarkista ja noudata aina robots.txt-tiedostoa.
• Vältä palvelimien ylikuormittamista: Ota käyttöön viiveitä ja rajoita sekunnissa tekemiesi pyyntöjen määrää.
• Ole läpinäkyvä: Tunnistaudu kaavintatyökaluksi lisäämällä User-Agent-otsake, joka ilmoittaa selkeästi tarkoituksesi.
• Hanki lupa: Jos kaavit dataa kaupallisiin tarkoituksiin, harkitse yhteydenottoa verkkosivuston omistajaan luvan saamiseksi.
• Noudata käyttöehtoja: Lue huolellisesti verkkosivuston käyttöehdot ja varmista, että kaavintatoimintasi on niiden mukainen.
• Käytä dataa vastuullisesti: Käytä kaavittua dataa vastuullisesti ja vältä tekijänoikeuksien tai immateriaalioikeuksien loukkaamista. Ole tietoinen yksityisyydensuojasta, kun kaavit henkilötietoja. Varmista, että noudatat GDPR:ää, CCPA:ta ja muita asiaankuuluvia tietosuojamääräyksiä.

Edistyneet Scrapy-tekniikat

1. XPath-valitsimien käyttö:

Vaikka CSS-valitsimet ovat usein riittäviä, XPath tarjoaa tehokkaampia ja joustavampia tapoja navigoida ja valita elementtejä HTML- tai XML-dokumentissa. Esimerkiksi:

            response.xpath('//h1/text()').get()  # Valitsee ensimmäisen <h1>-tagin tekstisisällön
            

              
                Copy
              
            
          

2. Sivutuksen käsittely:

Monet verkkosivustot käyttävät sivutusta jakaakseen sisällön useille sivuille. Kaapiaksesi dataa kaikilta sivuilta, sinun on seurattava sivutuslinkkejä. Tässä on esimerkki:

            def parse(self, response):
    for article in response.css("article"):  # Säädä CSS-valitsinta tarpeen mukaan
        item = ArticleItem()
        item['title'] = article.css("h2 a::text").get()
        item['url'] = article.css("h2 a::attr(href)").get()
        yield item

    next_page = response.css("li.next a::attr(href)").get()
    if next_page is not None:
        yield response.follow(next_page, self.parse)
            

              
                Copy
              
            
          

3. Request-takaisinkutsujen käyttö:

Request-takaisinkutsut (callbacks) mahdollistavat pyyntöjen ketjuttamisen ja kunkin pyynnön tulosten käsittelyn erillisessä takaisinkutsufunktiossa. Tämä voi olla hyödyllistä kaavittaessa verkkosivustoja, joilla on monimutkaisia navigointimalleja.

4. Scrapy-signaalien käyttö:

Scrapy-signaalit mahdollistavat kytkeytymisen erilaisiin kaavintaprosessin tapahtumiin, kuten spiderin käynnistymiseen, itemin kaavimiseen tai pyynnön valmistumiseen. Voit käyttää signaaleja suorittaaksesi mukautettuja toimintoja, kuten lokitusta, valvontaa tai virheiden käsittelyä.

Scrapy vs. muut verkkosivujen kaavintatyökalut

Vaikka Scrapy on tehokas kehys, saatavilla on myös muita verkkosivujen kaavintatyökaluja. Tässä on vertailu Scrapyn ja joidenkin suosittujen vaihtoehtojen välillä:

• Beautiful Soup: Beautiful Soup on Python-kirjasto HTML:n ja XML:n jäsentämiseen. Se on yksinkertaisempi käyttää kuin Scrapy peruskaavintatehtävissä, mutta siitä puuttuvat Scrapyn edistyneet ominaisuudet laajamittaiseen kaavintaan. Beautiful Soupia käytetään usein yhdessä requests-kirjaston kaltaisen kirjaston kanssa.
• Selenium: Selenium on selaimen automaatiotyökalu, jota voidaan käyttää kaapimaan verkkosivustoja, jotka käyttävät paljon JavaScriptiä. Selenium voi olla hitaampi ja resurssi-intensiivisempi kuin Scrapy, mutta se on välttämätön dynaamisen sisällön kaapimiseen, jota ei voida helposti käyttää perinteisillä menetelmillä.
• Apify SDK (Node.js): Apify tarjoaa SDK:n Node.js:lle, jonka avulla voit rakentaa verkkosivujen kaapimia ja automaatiotyökaluja. Se tarjoaa vastaavia ominaisuuksia kuin Scrapy, mukaan lukien pyyntöjen jonotus, välityspalvelimien hallinta ja datan tallennus.

Paras työkalu projektiisi riippuu erityisvaatimuksista. Scrapy on erinomainen valinta laajamittaisiin kaavintaprojekteihin, jotka vaativat vankkaa ja joustavaa kehystä. Beautiful Soup sopii yksinkertaisempiin kaavintatehtäviin. Selenium on välttämätön dynaamisen sisällön kaapimiseen. Apify SDK tarjoaa vaihtoehdon Node.js-kehittäjille.

Tosielämän esimerkkejä Scrapy-sovelluksista

Scrapyä käytetään monenlaisissa sovelluksissa, mukaan lukien:

• Verkkokauppa: Tuotteiden hintojen seuranta, kilpailijoiden toiminnan tarkkailu ja tuotearvostelujen kerääminen.
• Rahoitus: Taloustietojen kerääminen, osakekurssien seuranta ja uutistunnelmien tarkkailu.
• Markkinointi: Markkinatutkimuksen tekeminen, liidien tunnistaminen ja sosiaalisen median trendien seuranta.
• Journalismi: Juttujen tutkiminen, datan kerääminen analyysia varten ja tietojen faktantarkistus.
• Tutkimus: Datan kerääminen akateemiseen tutkimukseen ja tieteellisiin tutkimuksiin.
• Datatiede: Koulutusaineistojen rakentaminen koneoppimismalleille.

Esimerkiksi Saksassa toimiva yritys voisi käyttää Scrapyä kilpailijoiden hinnoittelun seuraamiseen eri verkkokauppa-alustoilla. Japanilainen tutkimuslaitos voisi käyttää Scrapyä kerätäkseen dataa tieteellisistä julkaisuista meta-analyysia varten. Brasiliassa toimiva markkinointitoimisto voisi käyttää Scrapyä seuraamaan asiakkaidensa mainintoja sosiaalisessa mediassa.

Johtopäätös

Scrapy on tehokas ja monipuolinen kehys laajamittaisten verkkosivujen kaavintaratkaisujen rakentamiseen. Ymmärtämällä sen arkkitehtuurin, hallitsemalla sen ydinkomponentit ja noudattamalla parhaita käytäntöjä voit hyödyntää sen potentiaalia arvokkaan datan keräämiseksi verkosta. Olipa kyseessä markkinatutkimus, kilpailijoiden toiminnan seuranta tai dataa runsaasti hyödyntävän sovelluksen rakentaminen, Scrapy antaa sinulle mahdollisuuden hyödyntää verkossa saatavilla olevaa valtavaa tietomäärää. Muista aina kaapia eettisesti ja vastuullisesti, kunnioittaen verkkosivustojen käyttöehtoja ja tietosuojamääräyksiä.

Lisäoppimateriaalit

• Scrapy-dokumentaatio: https://docs.scrapy.org/en/latest/
• Zyte (ent. Scrapinghub) -blogi: https://www.zyte.com/blog/
• Real Python -oppaat: https://realpython.com/tutorials/web-scraping/
• GitHub (Scrapy-esimerkkejä): Hae GitHubista "scrapy tutorial" tai "scrapy example" löytääksesi monia avoimen lähdekoodin projekteja.